3801
11967
Jag försöker få RabbitMQ med Celery och Django att gå på en EC2-instans för att göra en ganska grundläggande bakgrundsbehandling. Jag kör rabbitmq-server 2.5.0 på en stor EC2-instans.
Jag laddade ner och installerade testklienten enligt instruktionerna här (längst ner på sidan). Jag har bara låtit testskriptet gå och får den förväntade utdata:
recving rate: 2350 msg / s, min / avg / max latency: 588078478/588352905/588588968 microseconds
recving rate: 1844 msg / s, min / avg / max latency: 588589350/588845737/589195341 microseconds
recving rate: 1562 msg / s, min / avg / max latency: 589182735/589571192/589959071 microseconds
recving rate: 2080 msg / s, min / avg / max latency: 589959557/590284302/590679611 microseconds
Problemet är att det förbrukar otroligt mycket CPU:
PID ANVÄNDARE PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND
668 kaninmq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 beam.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java
Jag testade på en mikroinstans tidigare och det förbrukade helt alla resurser på instansen.
Är detta att förvänta sig? Gör jag något fel?
Tack.
Redigera:
Den verkliga anledningen till detta inlägg var att celerybeat verkade fungera okej ett tag och sedan plötsligt konsumerar alla resurser på systemet. Jag installerade Rabbitmq-hanteringsverktygen och har undersökt hur köerna skapas från selleri och från Rabbitmq-testsviten. Det verkar för mig att selleri är föräldralösa dessa köer och att de inte försvinner.
Här är kön som genereras av testpaketet. En kö skapas och alla meddelanden går in i den och kommer ut:
Celerybeat skapar en ny kö för varje gång den kör uppgiften:
Det ställer in parametern för automatisk radering till sant, men jag är inte helt säker på när dessa köer kommer att raderas. De verkar bara sakta bygga upp och äta resurser.
Har någon en idé?
Tack. 
Ok, jag förstod det.
Här är relevant dokumentation:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Gamla resultat kommer inte att rengöras automatiskt, så du måste se till att konsumera resultaten, annars kommer antalet köer så småningom att bli utom kontroll. Om du kör RabbitMQ 2.1.1 eller högre kan du dra nytta av argumentet x-expires till köer, vilket kommer att upphöra att vara köer efter en viss tidsgräns efter att de inte används. Köns utgång kan ställas in (i sekunder) med inställningen CELERY_AMQP_TASK_RESULT_EXPIRES (inte aktiverat som standard).
|
För att lägga till Eric Conners lösning på sitt eget problem, säger http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices:
Ignorera resultat du inte vill ha
Om du inte bryr dig om resultatet av en uppgift, se till att ställa in alternativet ignorera_resultat, eftersom lagring av resultat slösar bort tid och resurser.
@ app.task (ignore_result = True)
def mytask (…):
något()
Resultaten kan till och med inaktiveras globalt med inställningen CELERY_IGNORE_RESULT.
Det tillsammans med Erics svar är förmodligen ett absolut bästa praxis för att hantera din resultatbackend.
Om du inte behöver en resultatbackend, ställ in CELERY_IGNORE_RESULT eller ange inte en resultatbackend alls. Om du behöver en resultatbackend, ställ in CELERY_AMQP_TASK_RESULT_EXPIRES så att den skyddas mot att oanvända resultat byggs upp. Om du inte behöver det för en specifik app, ställ in den lokala ignorera som ovan.
|
Ditt svar
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", funktion () {
StackExchange.using ("snippets", function () {
StackExchange.snippets.init ();
});
});
}, "kodutdrag");
StackExchange.ready (funktion () {
var channelOptions = {
taggar: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", funktion () {
// Måste aktivera redaktören efter utdrag, om utdrag aktiverat
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("snippets", function () {
createEditor ();
});
}
annat {
createEditor ();
}
});
funktion createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'answer',
autoActivateHeartbeat: false,
convertImagesToLinks: true,
noModals: sant,
showLowRepImageUploadWarning: true,
reputToPostImages: 10,
bindNavPrevention: true,
postfix: "",
imageUploader: {
brandingHtml: "Drivs av \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.72543 4.916.56 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C414.42.064 12.4 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.445.5 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evend = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913.470.46 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.125 12.222.225 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335ZM24.124 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.95129.26.280.16 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.59806 4.8996.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 6.8911.4 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291Z \ uB = c / a \ u003e ",
contentPolicyHtml: “Användarbidrag licensierade under \ u003ca href =” https: //stackoverflow.com/help/licensing “\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =” https://stackoverflow.com / legal / innehållspolicy \ "\ u003e (innehållspolicy) \ u003c / a \ u003e",
allowUrls: sant
},
onDemand: sant,
discardSelector: ".discard-answer"
, direktShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Tack för att du bidrog med ett svar till Stack Overflow!
Var noga med att svara på frågan. Ge detaljer och dela din forskning!
Men undvik ...
Be om hjälp, förtydligande eller svara på andra svar.
Att göra uttalanden baserade på åsikt; Säkerhetskopiera dem med referenser eller personlig erfarenhet.
För att lära dig mer, se våra tips för att skriva bra svar.
Utkast sparat
Utkast kasseras
Registrera dig eller logga in
StackExchange.ready (funktion () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Registrera dig med Google
Registrera dig med Facebook
Registrera dig med e-post och lösenord
Skicka in
Lägg upp som gäst
namn
E-post
Obligatoriskt men aldrig visat
StackExchange.ready (
funktion () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consuming-tons-of-cpu% 23new-answer', ' frågesida ');
}
);
Lägg upp som gäst
namn
E-post
Obligatoriskt men aldrig visat
Lägg upp ditt svar
Kassera
Genom att klicka på “Lägg upp ditt svar” godkänner du våra användarvillkor, sekretesspolicy och cookiepolicy
Inte svaret du letar efter? Bläddra bland andra frågor taggade django rabbitmq selleri eller ställ din egen fråga.